Training Reasoning Models to Generate Diverse Scientific Ideas
训练推理模型生成多样化科学创意
🧭 LLM 创意生成 · 集合级 RL 多样性
New York University · Stony Brook University · Salesforce AI Research
用集合级强化学习奖励多样性，训练 8B 模型一次生成 K 张高质量且互异的科学创意卡
📌 工作参考价值（4 点）
- 生成多个候选时用距离加权奖励：在推荐理由、广告文案、搜索 query 建议等场景，要求模型一次生成 K 个候选，并在强化学习/偏好优化中把每个候选的质量分数乘以其与已生成候选的语义距离（如 embedding 相似度的倒数），可显著减少重复、提升集内多样性。
- 结构化卡片输出：让模型输出类似 idea card 的结构化 JSON（标题、卖点、理由、证据），便于后续用规则或模型做联合评分、去重与排序；电商可生成“商品卖点卡”或“用户兴趣标签卡”。
- 集合级联合评分替代逐条采样：在 RL/GRPO 中直接对一组 K 个候选做 group-level reward，而不是逐条独立采样打分，能更好平衡质量与覆盖，工程上可用一个 LLM judge 或业务指标作为奖励。
- 执行反馈作为最终验证：借鉴用 coding agent 跑实验验证想法可执行性，在业务中可让生成内容进入仿真或小流量评测，用真实业务指标（CTR、转化）作为 success 信号，避免只靠 LLM 自评。